# 정규화

## 개요

**정규화**(Normalization) 자연어 처리(Natural Language Processing, N)에서 텍스트 전처리의 핵심 단계 중 하나로, 다양한 형태의 텍스트를 일관된 형식으로 변환하여 분석의 정확도 효율성을 높이는 과정을 의미합니다. 원시 텍스트는 사용자 입력, 웹 크롤링, 문서 스캔 등 다양한 경로를 통해 수집되며, 이 과정에서 오타, 대소문자 불일치, 특수문자, 이모티콘, 약어, 중복 공백 등 다양한 비정형 요소가 포함될 수 있습니다. 정규화는 이러한 요소들을 체계적으로 처리하여 모델 학습이나 텍스트 분석에 적합한 표준 형식의 데이터를 생성합니다.

특히 한국어와 같이 띄어쓰기 오류가 빈번하거나, 다양한 어휘 변형이 존재하는 언어에서는 정규화의 중요성이 더욱 커집니다. 이 문서에서는 정규화의 개념, 목적, 주요 기법, 한국어 처리에서의 특수성, 그리고 활용 사례를 중심으로 설명합니다.

---

## 정규화의 목적

정규화의 주요 목적은 다음과 같습니다:

- **형태의 일관성 확보**: "iPhone", "IPHONE", "i-phone"과 같은 다양한 표현을 하나의 통일된 형식(예: "iphone")으로 변환.
- **노이즈 제거**: 이모티콘, 특수기호, HTML 태그 등 분석에 방해가 되는 요소를 제거.
- **모델 성능 향상**: 동일한 의미를 가진 단어가 다양한 형태로 나타나지 않도록 하여, 모델이 더 정확하게 패턴을 학습할 수 있게 함.
- **데이터 크기 축소**: 중복된 표현을 줄여 어휘 사전의 크기를 감소시키고, 메모리 사용량과 처리 시간을 절감.

---

## 주요 정규화 기법

### 1. 소문자 변환 (Lowercasing)

대부분의 NLP 파이프라인에서 가장 기초적인 정규화 기법입니다. 영어 텍스트의 경우, "Apple"과 "apple"을 동일한 단어로 인식하게 하기 위해 모든 문자를 소문자로 변환합니다.

```python
text = "Hello World!"
normalized_text = text.lower()  # "hello world!"
```

> **주의**: 한국어는 대소문자 개념이 없으므로 이 기법은 주로 영문 혼용 텍스트에 적용됩니다.

---

### 2. 공백 정리

띄어쓰기 오류나 중복 공백을 제거하여 단어 단위 분리의 정확도를 높입니다.

- 연속된 공백을 단일 공백으로 축소
- 문장 앞뒤의 불필요한 공백 제거
- 탭, 줄바꿈 문자 등을 공백으로 통합

```python
import re
text = "  안녕하세요     세상  !  "
normalized_text = re.sub(r'\s+', ' ', text).strip()  # "안녕하세요 세상 !"
```

---

### 3. 특수문자 및 기호 제거

이모티콘, 해시태그, URL, 이메일, HTML 태그 등 분석에 방해가 되는 요소를 제거합니다.

- **예시**: `@user 님, 좋아요! 😊 #감사` → `user 님, 좋아요! 감사`

```python
import re
text = "@user 님, 좋아요! 😊 #감사"
# 사용자 태그, 해시태그, 이모티콘 제거
normalized_text = re.sub(r'[@#]\w+|[\U00010000-\U0010ffff]|http\S+', '', text)
```

---

### 4. 어간 정규화 (Stemming) 및 표제어 추출 (Lemmatization)

- **Stemming**: 단어의 접사 등을 제거하여 어간(stem)만 남기는 기법 (예: "running" → "run")
- **Lemmatization**: 문법적으로 올바른 사전형(표제어)으로 변환 (예: "better" → "good")

> 한국어는 복잡한 활용 형태를 가지므로, 형태소 분석기를 활용한 **형태소 기반 정규화**가 더 효과적입니다.

---

### 5. 철자 정규화 및 오타 수정

입력 오류나 방언, 약어 등을 표준어로 변환합니다.

- "ㅋㅋㅋ" → "하하하"
- "ㅠㅠ" → "슬퍼"
- "안뇽" → "안녕"

이 과정은 **비표준어 정규화**(Non-standard Korean Normalization)라고도 하며, 한국어 NLP에서 특히 중요한 단계입니다. 이를 위해 딥러닝 기반 모델(예: Seq2Seq, BERT 기반 정규화기)이 활용됩니다.

---

## 한국어 정규화의 특수성

한국어는 다음과 같은 특성으로 인해 정규화가 복잡합니다:

- **띄어쓰기 오류**: "오늘은 좋은 날 이다" vs "오늘은좋은날이다"
- **비표준 표현**: 인터넷 언어, 은어, 약어("ㄱㅅ" → "감사")
- **이모티콘과 기호의 빈번한 사용**: "ㅜㅜ", "ㅎㅎ", "ㅠㅠ"
- **한자어, 외래어 혼용**: "컴퓨터" vs "컴퓨터기"

이에 따라 한국어 정규화에는 다음 기술들이 활용됩니다:

| 기법 | 설명 |
|------|------|
| 형태소 분석기 | KoNLPy, Okt, Kkma 등으로 품사 태깅 및 어휘 분리 |
| 띄어쓰기 보정 | 띄어쓰기 오류를 수정하는 모델 (예: 한국어 맞춤법 검사기) |
| 비표준어 사전 | 약어, 인터넷 어휘를 표준어로 매핑하는 사전 |
| 딥러닝 기반 정규화기 | Seq2Seq, Transformer 기반 모델로 문장 단위 정규화 |

---

## 활용 사례

- **감성 분석**: "이 영화 존잼ㅋㅋ" → "이 영화 정말 재미있다"로 정규화하여 긍정 감성 판단
- **챗봇 시스템**: 사용자의 비표준 입력을 이해 가능하게 변환
- **검색 엔진**: "삼성전자 주가?"와 "삼성 전자 주가?"를 동일하게 처리
- **문서 요약**: 정제된 텍스트 기반으로 의미 중심 요약 수행

---

## 참고 자료

- [KoNLPy 공식 문서](https://konlpy.org/)
- Seo, M., & Lim, H. (2020). *Korean Text Normalization using BERT-based Models*. ACL.
- 한국어 맞춤법 검사기 API (예: 한글과컴퓨터, 네이버 맞춤법 검사기)

정규화는 단순한 전처리 단계를 넘어서, 자연어 처리 시스템의 성능을 좌우하는 핵심 요소입니다. 특히 한국어와 같이 비표준 표현이 빈번한 언어에서는 정교한 정규화 전략이 필수적입니다.